RREDCoT: Redistribución Segmentada de Recompensas para Razonamiento
Descubre cómo RREDCoT redistribuye recompensas en segmentos de cadenas de pensamiento para reducir la varianza y mejorar el aprendizaje por refuerzo en modelos de razonamiento.
#optimización de política
Métricas de curación fallan en defectos estructurales de políticas de imitación
Las métricas de curación solo-acción fallan ante defectos estructurales en demostraciones. Incluso las mejores solo recuperan un tercio del rendimiento.
Razonamiento latente con flujos normalizadores
NF-CoT: razonamiento latente con flujos normalizadores para código eficiente y preciso. Supera a la cadena de pensamiento tradicional.
Optimización de Política de Secuencia Suave
Descubre Soft Sequence Policy Optimization: un nuevo método off-policy que mejora la estabilidad y rendimiento en tareas de razonamiento y codificación para LLMs.
GIPO: Optimización de Políticas con Muestreo por Importancia Gaussiano
GIPO: optimización de políticas con muestreo por importancia truncado y pesos gaussianos logrando eficiencia y estabilidad superiores en RL post-entrenamiento.
Crédito denso insuficiente: Optimización calibrada por evidencia para agentes LLM
ECPO calibra el crédito de acciones intermedias en agentes LLM, mejorando el rendimiento en ALFWorld y WebShop hasta un 7% con solo 0.1% de sobrecarga.
MDP-GRPO: Optimización de Políticas Grupales Estabilizada para Instrucciones Multi-Restricción
Descubre MDP-GRPO, un método que estabiliza GRPO bajo recompensas discretas, mejorando el cumplimiento de restricciones hasta un 5%. Ideal para IA confiable.
BiasGRPO: mitigación de sesgos en alta varianza con optimización grupal
Descubre cómo BiasGRPO estabiliza la mitigación de sesgos con optimización grupal relativa, superando a DPO y PPO en benchmarks.
Caracterización de conjuntos de metas en el álgebra booleana de tareas
Descubre cómo la caracterización de conjuntos de metas en el álgebra booleana de tareas reduce costos de aprendizaje y tiempo de composición en RL.
Aprendizaje por Refuerzo desde Retroalimentación Rica con DAgger Distribucional
Descubre DistIL: aprendizaje por refuerzo con retroalimentación rica para razonamiento, código y matemáticas. ¡Lee más!
Cómo el condicionamiento de éxito optimiza políticas de IA
El condicionamiento de éxito resuelve un problema de optimización con restricción de divergencia, mejorando políticas de IA sin degradar el rendimiento. ¡Descúbrelo!
Embeddings Simpliciales mejoran eficiencia en agentes Actor-Critic
Descubre cómo los embeddings simpliciales mejoran la eficiencia muestral en Actor-Critic, acelerando el entrenamiento sin pérdida. Resultados: TD3, SAC, PPO.
El entrelazamiento cuántico da ventaja competitiva en juegos adversariales
¿El entrelazamiento cuántico mejora juegos adversariales? Un estudio muestra ventaja competitiva en Pong con circuitos cuánticos.
RL en preentrenamiento de LLM: optimización temprana de políticas
Aplicar RL durante el preentrenamiento de LLM mejora rendimiento, superando al enfoque SFT→RL. Fusionar RL y SFT da mejores resultados sin perder capacidades.
Gradiente de Política para MDP Robustos en Tiempo Continuo
Descubre cómo los algoritmos de gradiente de política en tiempo continuo mejoran la robustez en MDPs, con convergencia lineal y menor complejidad muestral.
Mejora de MADDPG con inferencia de acciones y muestreo por importancia
Mejora el algoritmo MADDPG con inferencia de acciones y muestreo por importancia para optimizar la cooperación y exploración en entornos multiagente.
Entropía no es suficiente: aprendizaje por refuerzo visual con tokens anclados
La entropía falla en RL visual: VEPO selecciona tokens visual-informativos y supera en hasta 3.15 puntos. Descubre cómo.
Guía local, impacto global: Región de confianza gaussiana
GTR: región de confianza Gaussiana para transiciones de comportamiento en aprendizaje por refuerzo no estacionario. Ideal para juegos, robótica y más.
Límites de arrepentimiento dependientes de datos y varianza en MDPs tabulares
Algoritmos que logran límites de arrepentimiento adaptativos a datos y varianza en MDPs tabulares online, óptimos en entornos adversariales y estocásticos.
Conjunto semi-algebraico de valor en POMDPs
Aprende cómo el conjunto semi-algebraico de la función de valor en POMDPs revela una geometría no lineal y maximizadores locales.